Geoffroy là con trai lớn của Fulk V xứ Anjou và Ermengarde xứ Maine. Geoffroy nhận biệt danh của mình từ cành hoa chổi màu vàng (genêt là tên tiếng Pháp của cây genista, hay cây bụi chổi) mà ông hay đội trong mũ.[1]:9[2]:1[3] Nhà biên niên sử John xứ Marmoutier mô tả Geoffroy là một người đẹp trai, tóc đỏ, vui tính và là một chiến binh vĩ đại.[4] Vua Henry I của Anh, sau khi nghe báo cáo về tài năng và sức mạnh của Geoffroy , đã cử quân đến Anjou để thương lượng về cuộc hôn nhân giữa cô con gái 25 tuổi Matilda và cậu thiếu niên Geoffroy 15 tuổi. Sau sự đồng ý của cả hai bên, vào ngày 10 tháng 6 năm 1128, Geoffroy được vua Henry phong tước hiệp sĩ ở Rouen, để chuẩn bị cho lễ cưới.